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Resumen 


El campo de las tecnologías llamadas Extended Realities (XR) o también llamadas Virtuality Continuum, 
Mixed Reality o Reality-Virtuality Continuum, comenzó a finales de los 50 del siglo XX. Hoy tiene un in- 
terés emergente en muchos sectores, que hace 20 años atrás no imaginaban su uso ni siquiera como 
Una quimera. Si se indaga en la historia los 90 fueron un punto de inflexión en el campo, dado que 
empezaron a ganar complejidad tanto filosófica como taxonómica. Definiéndose conceptos algunos 
de los cuales aún hoy son neologismos. A 70 años de la creación del primer dispositivo persisten 
conceptos discordantes entre sí, hecho que dificulta la comprensión de los límites de cada una de las 
tecnologías y su denominación; resultando en una ambigúedad taxonómica. 

A la luz de la discrepancia taxonómica y conceptual actual de estas tecnologías, el sector disciplinario 
del diseño y la representación gráfica debería exacerbar la discusión del rol que tiene que tomar 
en relación a las Extended Realities y la posición frente a las definiciones y clasificaciones del campo 
de las XR. Este artículo, es un análisis de algunos de las contribuciones más significativas al campo, 
en busca de clarificar — y/o discutir — conceptos que son utilizados frecuentemente con diferentes 
significados como los espacios virtuales, los cyberspaces, las XR y la Mixed Reality. 
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Introduccion 


El campo de las tecnologias llamadas Extended Realities (XR), o también Virtuality Continuum, 
Mixed Reality o Reality-Virtuality Continuum, comenzé con la creacién de un dispositivo para 
a visualizacién y el entretenimiento [Heilig 1962]. Hoy tienen un interés emergente en mu- 
chos sectores, que hace 20 años atrás no imaginaban su uso ni siquiera como una quimera. 
Las XR empezaron a ganar notoriedad con la popularización de la industria 4.0 (concepto 
acuñado en el 2016 por Klaus Schwab) [Universidad Autónoma de Madrid 2021] y con el 
uso del neologismo de los cyberspaces. Estos aspectos y su futuro prometedor impulsaron 
inversiones de recursos — económicos y humanos — sin precedente en su acotada historia, 
Su creciente expectación alcanzó su máximo en el 2021 cuando, desde el sector privado, la 
empresa Meta (Facebook) anunció el proyecto Metaverse [Zuckerberg 202 |]. Una promesa 
a 10 años que consiste en la implementación de una tecnología que unificará las redes so- 
ciales y los espacios virtuales; cambiando cómo habitamos la realidad y la virtualidad [Caffio, 
Unali 2022]. 

Sin embargo, se puede asumir que los años 90 fueron el punto de inflexión conceptual 
donde estas tecnologías empezaron a ganar complejidad filosófica [Bowskill, Downie 1995; 
Craig 2013; Sherman, Craig 2018], y taxonómica [Milgram, Kishino 1994]. Respecto de esta 
última, se empezaron a definir conceptos teóricos, algunos de los cuales aún hoy perma- 
necen imprecisos [Bekele 202 1; Speicher et al. 2019]. A 70 años de la creación del primer 
dispositivo persisten conceptos discordantes entre sí, hecho que dificulta la comprensión de 
os límites de cada una de las tecnologías y su denominación; resultando en una ambigùedad 
taxonómica. 

En los ámbitos de las ingenierías y de la arquitectura, el sector disciplinario del diseño histó- 
ricamente ha sido el canal principal de la representación gráfica y de los espacios virtuales. 
En sus inicios comenzó con el dibujo analógico y con el advenimiento de los ordenadores 
fue cambiando al paradigma digital; sin embargo, todavía, el formato utilizado en la fase de 
resultados es del paradigma arquetipico. El sector del diseño está viendo a las XR como el 
posible cambio final al paradigma digital. 

En los ámbitos del cine y la literatura; las películas, las series y las novelas han desarrollado 
— y desarrollan — escenarios distópicos de la industria 4.0 y las tecnologías XR, poniendo de 
manifiesto sus posibles problemáticas; e.g., Black Mirror, Ready Player One, WALL E, entre 
otras. Estos ejemplos muestran las posibles consecuencias sociales del avance no tutelado 
de las tecnologías XR. Dado lo anterior es necesario exacerbar la discusión teórica taxo- 
nómica del campo, y el rol que tiene que tomar el sector del diseño en relación a las XR. 


Los espacios virtuales y los cyberspaces 


En la literatura griega Platón introduce por primera vez el concepto de espacio en general — 
XWpa — que “es el primer lugar platónico en el que se dice que la espacialidad o extensión 
es el inseparable acompañamiento de todos los objetos de sensación” [Ross 1986, p. 151]. 
Rina define a lo virtual como lo que no es real; es artificial o ilusorio; puede implicar la re- 
presentación de objetos reales o puede referirse a la creación de lo irreal. Esta autora con- 
cluye que todas las formas de espacio virtual contienen información incorpórea [Rina 2019]. 
En 1984, en la novela Neuromancer se acuña el término ‘cyberspace’ [Gibson 1984]. Pos- 
teriormente es definido por Sherman y Craig como — un lugar que existe en la mente de 
os participantes, como resultado del uso de una tecnología que permite a las personas 
geográficamente distantes, comunicarse de forma interactiva — [Sherman, Craig 2002, p. 17]. 
En línea con esta última definición, es necesario observar algunos aspectos y afirmaciones, 
Primero, no siempre hay más de un participante en un cyberspace, también es discutible que 
efectivamente sean participantes, dado que no todos son necesariamente personas reales 
(considerando la inevitable asociación de la palabra participantes con el individuo huma- 
no). Por ello, parece más claro usar la denominación de ‘actores’ entendidos no sólo como 
participantes en una acción o suceso [Real Academia Española 2022], sino también como 
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Fig. |. Esquema 
masivamente divulgado 
del concepto reducido 
de las Extended Realities. 


entidades fisicas y/o virtuales que influyen indirectamente en la accién, el suceso y/o con 
los participantes. Segundo, es importante clarificar el concepto — un lugar como resultado 
de la tecnologia — citado en la definicién. Pollack introdujo esta idea en el titulo For Artificial 
Reality, Wear A Computer de su articulo en el New York Times [Pollack 1989]. Krueger en su 
libro Artificial Reality Il profundizó este concepto definiendo las realidades artificiales como 
el opuesto al espacio físico; y destacó que el objetivo de estas son la participación de todo 
el cuerpo en acontecimientos informáticos [Krueger 1991, p. 16]. En la actualidad, 34 años 
después, podemos decir que no están sólo involucradas las computadoras como afirmaba 
Pollack, en el sentido de la palabra de ordenadores o PC, sino que todos los sistemas infor- 
máticos computarizados; es decir las tecnologías informáticas (IT). 

Por último, el concepto de ‘lugar que existe en la mente' debe reconsiderarse. Se define al 
lugar como la “porción del espacio, real o imaginada, en que se sitúa algo” [Oxford Langua- 
ges 2023]. En línea con lo explicado por Krueger y Pollack y la definición de espacio virtual 
de Rina nombrada previamente, se podría concluir que la diferencia entre los espacios 
virtuales y los cyberspaces, es que este último es un espacio virtual creados solamente a 
partir de las IT. 

Podría concluirse, que los cyberspaces son una subcategoría de los espacios virtuales creados 
a partir de las IT, donde se puede interactuar con el ambiente y/o con los actores del mismo. 


Extended Realities (tecnologías XR) 


Aunque la discusión de la taxonomía [|] de este campo empezó en los 90 cuando se 
concertaron nueve dimensiones de las actuales XR [Robinett 1992], siendo un punto de 
partida para el debate; todavía hoy los investigadores ignoran — o desconocen — en gran 
medida la taxonomía [Skarbez et al. 2021, p. 1]. 

Las Extended Realities son un campo conceptual que engloba a todas las tecnologías de 
vivencia inmersiva que muestran cyberspaces. A nivel de divulgación el concepto de XR ha 
sido reducido a sólo tres de las tecnologías: Mixed Reality (MR), Augmented Reality (AR) y 
Virtual Reality (VR) (fig. 1). Lejos de nacer sólo en esta trifecta, los primeros pasos de las 
XR se dieron dentro del sector de computer graphics sin subclasificaciones. Sutherland y 
colaboradores desarrollaron las primeras experiencias inmersivas en el mundo científico: 
“Sword of Damocles” [Sutherland 1968] y “Moving Computer graphic images seen from inside 
the vascular system” [Greenfield et al.1971]; hoy clasificadas como AR y VR respectivamente. 
La primera macro división del campo de las XR fue la clasificación en dos tecnologías, la 
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Fig. 2. Representación 
simplificada del Virtuality 
Continuum. Milgram, 
Kishino 1994, 
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VR y la AR o también llamada Enhanced Reality [Grimson et al. 1994]. Esta primera divisién 
se hizo debido a la necesidad de separar las tecnologias que sumergen completamente a 
un usuario dentro de un entorno sintético (VR), de las tecnologias que pueden mostrar 
el mundo real, con objetos virtuales superpuestos o compuestos con el mundo real (AR) 
[Azuma 1997, p. 2]. 
Sin embargo, se acuerda que el inicio de la clasificación del sector empezó con la publica- 
cién A taxonomy of Mixed Reality visual displays [Milgram, Kishino 1994]; donde la clasifica- 
ción dependía de que tan virtual o real es la escena que se está viendo. En ese artículo se 
introdujo por primera vez el concepto de Mixed Reality y el de Virtuality Continuum (VC) 
(fig. 2). Para facilitar la lectura de este articulo el concepto de Mixed Reality segun Milgram y 
Kishino será abreviado MRe, diferenciándolo de la Mixed Reality (MR) utilizado en la actuali- 
dad. El concepto deVC se refirió a cualquier mezcla de clases de objetos — reales y/o virtua- 
les — presentados en una situación de visualización a través de un display; en un extremo del 
esquema se encuentra la realidad y en el otro el mundo totalmente virtual. El concepto de 
MRe lo introdujeron como todo caso intermedio. La MRe puede ser entendida como toda 
experiencia mixta realizada para observar objetos reales y virtuales — juntos — en las que 
se usa un display. Obsérvese que los conceptos de Real Environment y Virtual Environment 
están excluidos de la MRe. Nótese que consideran la VR como Virtual Environment. Así, se 
ogró consolidar la separación teórica de estas dos tecnologías, la AR y laVR, y clasificar a su 
vez la Augmented Virtuality (AV) tecnología menos divulgada, que es utilizada para aumentar 
a virtualidad con objetos reales (fig. 2). 

En esta misma contribución los autores, incluyeron tres dimensiones a fin de tener un sis- 
tema de clasificación más detallado de las MRe. Las tres dimensiones (fig. 3) surgen de las 
siguientes preguntas: 


- ¿Cuánto sabemos del mundo que se muestra? Dimensión Extent of World Knowledge 
(EWK); 
- ¿Con qué realismo somos capaces de mostrarlo? Dimensión Reproduction Fidelity (RF); 


- ¿Cuál es el alcance de la ilusión con la que el observador está presente dentro de ese 
mundo? Dimensión Extent of Presence Metaphor (EPM). 


Utilizando estas tres dimensiones se pudo desarrollar un sistema de subclasificación de las 
experiencias creadas por estas tecnologías, para poder diferenciar dos experiencias que 
tecnológicamente son conceptualmente iguales (según el diagrama de la figura 2); e.g., una 
experiencia donde se ve un árbol virtual hiperrealista o como Low Poly, serian concep- 
tualmente iguales en el VC. Concluyendo las dimensiones y el VC de Milgram y Kishino 
pusieron las bases para clasificar las tecnologías de MR, con un esquema 2D. Con el nuevo 
siglo, empezaron a surgir nuevas tecnologías, e.g., la Mediated Reality y la Diminished Rea- 
lity [Mann, Barfield 2003]; que no necesariamente entraban en las categorías de Milgram 
y Kishino. Lentamente el campo de las XR fue tomado popularidad en ámbitos, como la 
ingeniería y la medicina, que vieron la potencialidad del aumento de información digital en 
tareas complejas. Esto ocasionó que el campo de las XR tenga que cambiar de ser una mera 
visualización a que el usuario tenga diferentes roles y, sobre todo, pueda interactuar con la 
información digital. 
En el 2021 se publicó el artículo Revisiting Milgram and Kishino's Reality-Virtuality Continuum 
[Skarbez et al. 202 |] donde proponen actualizar la taxonomía y las definiciones, La primera 
observación que hacen es acerca de la VR y como afecta al VC (al que llaman Reality-Virtua- 
lity — RV — Continuum). Dentro del RV Continuum, los autores explican que existe un tipo 
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de virtualidad donde el usuario no puede concebir la diferencia entre lo real y lo virtual, 
apodándola Matrix-like Virtual Environment, por la película Matrix (1999). Este último tipo 
de virtualidad sélo es posible en casos donde la inmersién en el mundo virtual se da sin 
percibir el dispositivo de inmersién; representando en el esquema el RV Continuum en 
forma no continua (fig. 4). Luego, Skarbez propone unificar el concepto Mixed Reality (MR), 
dado las multiples definiciones que se encuentran en los articulos cientificos. En una revision 
temática contemporánea se individualizaron seis tipos de MR [Speicher et al. 2019] (fig. 5): 


- MR en el contexto del VC de Milgram y Kishino (llamado MRe en este artículo); 
- MR como un sinónimo de AR; 
- MR como un tipo de colaboración entre AR y VR; 
- MR como una unión entre AR y VR; 
- MR como alineación de ambientes; 
- y MR como una AR potenciada. 


Skarbez propone unificar la definición de MR con una versión adaptada de lo planteado 
por Milgram y Kishino, expresando el concepto como un entorno de MR es aquel en el que 
los objetos y estímulos del mundo real y del mundo virtual se presentan juntos dentro de 
una misma percepción. Así los autores excluyen de la MR la MatrixLike Environment y el Real 
Environment. También incluyen en la MR, a diferencia de Milgram y Kishino, la VR. Así mismo, 
redefinieron los conceptos de las tres dimensiones y convirtieron las dimensiones en un 
esquema 3D (fig. 6). El concepto de Reproduction Fidelity (RF) cambia a Immersion (IM) con- 
tinuuum, el concepto de Extent of Presence Metaphor (EPM) a Coherence (CO) continuum, y 
el EWK se mantiene igual pero actualizan la dimensión. La colocación de las dimensiones en 
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Fig. 4. Reality-Virtuality 
(RV) Continuum (antes 
conocido como Virtuality 
continuum). Skarbez 2021. 


Fig. 5. Ejemplos de los seis 
tipos de MR identificados 
por Speicher y sus 
colegas: a) Continuum 
de Virtualidad (VC) 
Continuum de Realidad- 
Virtualidad (RV). Milgram, 
Kishino 1994; b) La MR 
como sinénimo de AR. 
Facebook de Augin; c) 

La MR como tipo de 
colaboracién entre AR 

y VR. Reilly 2015; d) MR 
como vinculo entre AR 

y VR. PokemonGO; e) 

MR como alineación de 
entornos. Roo 2017; y 
MR como AR potenciada. 
Settimi 2022. 
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un sistema espacial 3D permite el reconocimiento de los siguientes planos: Replicated World 
Illusion, Presence, y System Intelligence Illusion; la unión de estos tres planos crean la nueva 
definición de Mixed Reality (fig. 7). 


Discusión y conclusiones 


El artículo tiene el fin de discutir y clarificar la nomenclatura y la taxonomía de las diferentes 
experiencias inmersivas virtuales. Su clarificación ayuda a facilitar el uso multidisciplinar de 
estas tecnologías. Este trabajo forma parte de una investigación doctoral que tiene como 
objetivo aplicar las XR para el ámbito de la digital fabrication. 

Se discutió la ambigüedad de los múltiples nombres utilizados para englobar las tecnologías 
del campo de las ‘XR’, en algunos casos se utilizan la misma nominación para diferentes con- 
ceptos; e.g., al campo se lo denomina, entre otros, Extended Realities, Cross-Realities, Virtuality 
Continuum, Mixed Reality o Reality-Virtuality Continuum. 

El concepto de las Extended Realities (destacado en la figura |) usado frecuentemente y 
masivamente como nombramiento del campo es contraproducente. El principal defecto es 
que solo incluye tres tecnologias (MR, VR y AR), siendo esto reductivo. El termino Mixed 
Reality es particularmente indeterminado, de hecho Speicher concluye su articulo diciendo: 
“la MR puede ser muchas cosas y su comprensión depende siempre del contexto” (fig. 7). 
Por ello acuerdo que, concordante con los avances teóricos [Milgram, Kishino 1994; Skarbez 
et al. 2021], el nombramiento del campo debería ser MR (s. |.) siendo la situación más par 
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Fig. 7. Representación 
gráfica de las categorías 
de la MR. Combinando 
dimensiones y 
sensaciones subjetivas. 
Skarbez 2021. 
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simoniosa, aunque este Ultimo siga aun siga siendo conflictivo. Obsérvese que la tecnologia 
citada en la figura | como MR deberá ser primeramente clasificada y, luego, renombrada; 
sin embardo, al sacar la MR (fig. 1) como una de las tecnologías, quedarán solo la AR y laVR. 
Esto aumentaría la limitación para clasificar las experiencias actuales. 

La representación cubica de las dimensiones [Skarbez et al. 2021], es un aporte revelador 
que facilita el esclarecimiento de la taxonomía de estas tecnologías. Sin embargo, la falta de 
variables mesurables dificulta la creación de categorías estrictas dentro de la MR (s.1.) y con- 
tinua a permitir la clasificación de manera arbitraria. En este trabajo se pone de manifiesto 
la problemática de la insuficiente cantidad de categorías, principalmente por las experiencias 
diversas abarcadas dentro de la categoría AR. 

Concluyendo, el campo de las MR (s. I.) es un campo en discusión, donde por un lado es 
primordial fortalecer la discusión del sector disciplinario del diseño y de la representación 
gráfica, dado que este sector tiene aptitud y conocimiento en el uso de los espacios vir 
tuales y también es uno de los principales actores de los cyberspaces.Y por el otro lado, es 
necesario generar un marco teórico que permita definir una clasificación robusta que agilice 
el uso taxonómico del campo. 


Notas 
[I] Taxonomía del griego táxis (ordenación) y -nomía (significa conjunto de leyes o normas). La R.A.E. la define como la ciencia 


que trata de los principios, métodos y fines de la clasificación; también la define como la acción de clasificar. Luego, Oxford 
Learner's Dictionaries define taxonomía como: el proceso científico de clasificar cosas (= ordenarlas en grupos). 
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Abstract 


The field of technologies called Extended Realities (XR), also known as Virtuality Continuum, Mixed 
Reality or Reality-Virtuality Continuum, began in the late | 950s. Today, it is of growing interest in many 
sectors that 20 years ago could not even imagine its use, not even as a chimera. Looking back in 
history, the 90s were a turning point in the field, as it began to gain complexity both philosophically 
and taxonomically. Some terms were defined, some of which are still neologisms today. Seventy years 
after the creation of the first device, there are still conflicting concepts that make it difficult to under- 
stand the limits of each technology and its denomination, resulting in taxonomic ambiguity. 

Given the current taxonomic and conceptual discrepancy of these technologies, the disciplinary sec- 
tor of design and graphic representation should intensify the discussion about the role it has to take 
in relation to Extended Realities and its position in front of the definitions and classifications of the 
XR field. This article is an analysis of some of the most significant contributions to the field, seeking 
to clarify and/or discuss terms that are often used with different meanings, such as virtual spaces, 
cyberspaces, XR and Mixed Reality. 


Keywords 
Extended Realities, Taxonomy, Mixed Reality, Cyberspaces, Classification 
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Introduction 


The field oftechnologies called Extended Realities (XR), or also Virtuality Continuum, Mixed 
Reality or Reality-Virtuality Continuum, began with the creation of a device for visualization 
and entertainment [Heilig 1962]. Today, they have an emerging interest in many sectors, 
which 20 years ago did not imagine their use, not even as a chimera. XR began to gain 
notoriety with the popularization of Industry 4.0 (a concept coined by Klaus Schwab in 
201€) [Universidad Auténoma de Madrid 2021] and with the use of the neologism of cy- 
berspaces. These aspects and its promising future have led to an unprecedented investment 
of resources — both economic and human — in its limited history. This growing expectation 
culminated in 2021, when the private company Meta (Facebook) announced the Metaverse 
project [Zuckerberg 2021].A 10-year promise consisting of the implementation of a tech- 
nology that will unite social networks and virtual spaces; changing the way we inhabit reality 
and virtuality [Caffio, Unali 2022]. 

However, it can be assumed that the 1990s was the conceptual turning point when these 
technologies began to gain philosophical [Bowskill, Downie 1995; Craig 2013; Sherman, 
Craig 2018] and taxonomic [Milgram, Kishino 1994] complexity. With regard to the latter, 
theoretical concepts began to be defined, some of which remain vague today [Bekele 2021; 
Speicher et al. 2019]. Seventy years after the creation of the first device, discordant con- 
cepts persist, making it difficult to understand the limits of each technology and its denom- 
ination, resulting in taxonomic ambiguity. 

n the fields of engineering and architecture, the disciplinary sector of design has historically 
been the main channel for graphic representation and virtual spaces. lt began with analogue 
drawing and, with the advent of computers, has gradually moved to the digital paradigm; 
however, still, the format used as the outcome phase, or result, is still from the archetypal 
paradigm. The design industry is looking to XR as a possible final shift to the digital paradigm. 
n film and literature, films, series and novels have developed — and continue to develop 
— dystopian scenarios of Industry 4.0 and XR technologies, highlighting their potential prob- 
ems, e.g., Black Mirror, Ready Player One, WALL-E, among others. These examples show the 
possible social consequences of the uncontrolled development of XR technologies. In light 
of the above, it is necessary to intensify the theoretical taxonomic discussion of the field and 
the role that the design sector has to take in relation to XR. 


Virtual spaces and cyberspaces 


In Greek literature, Plato is the first to introduce the concept of space in general — xwpa — 
which is “the first Platonic place where spatiality or extension is said to be the inseparable 
accompaniment of all objects of sensation” [Ross 1986, p. 151]. Rina defines the virtual 
as that which is not real; it is artificial or illusory; it may involve the representation of real 
objects or it may refer to the creation of the unreal. She concludes that all forms of virtual 
space contain disembodied information [Rina 2019]. 

In 1984, the term ‘cyberspace’ was coined in the novel Neuromancer [Gibson 1984]. It is 
later defined by Sherman and Craig as — a place that exists in the minds of participants as 
a result of the use of technology that allows geographically distant people to communicate 
interactively — [Sherman, Craig 2002, p. 17]. In line with the latter definition, some aspects 
and statements need to be noted. First, there is not always more than one participant in a 
cyberspace, and it is also debatable whether they are actually participants, given that not all 
of them are necessarily real people (given the inevitable association of the word participant 
with the human individual). Therefore, it seems clearer to use the term ‘actors’, understood 
not only as participants in an action or event [Real Academia Espafiola 2022], but also as 
physical and/or virtual entities that indirectly influence the action, the event and/or the 
participants. 
Secondly, it is important to clarify the concept — a place as a result of technology — cited in 
the definition. Pollack introduced this idea in the title For Artificial Reality, Wear A Computer 
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Fig. |. Massively publicized 
outline of the reduced 
concept of Extended 
Realities. 


in his New York Times article [Pollack 1989]. Krueger in his book Artificial Reality Il further 
elaborated on this concept by defining artificial realities as the opposite of physical space; 
and emphasized that the goal of artificial realities is the participation of the whole body in 
computer events [Krueger 1991, p. | 6]. Today, 34 years later, we can say that not only com- 
puters are involved, as Pollack claimed, in the sense of the word computers or PCs, but all 
computerized computer systems, i.e., Information Technology (IT). 

Finally, the concept of ‘place existing in the mind’ needs to be reconsidered. Place is defined 
as the “portion of space, real or imagined, in which something is situated” [Oxford Languag- 
es 2023]. In line with Krueger and Pollack and Rina's definition of virtual space, mentioned 
above, it could be concluded that the difference between virtual spaces and cyberspaces is 
that the latter is a virtual space created purely by IT. 

It could be concluded that cyberspaces are a subcategory of virtual spaces created by IT, 
where one can interact with the environment and/or with the actors in it. 


Extended realities 


Although discussion of the taxonomy [1] of the field began in the 1990s when nine dimen- 
sions of the current XR were agreed upon [Robinett 1992] as a starting point for debate, 
the taxonomy is still largely ignored — or unknown — by researchers today [Skarbez et al. 
2021, p. 1]. 

Extended Realities is a conceptual field that encompasses all immersive experience tech- 
nologies that display cyberspaces. At the dissemination level, the concept of XR has been 
reduced to just three of the technologies: Mixed Reality (MR), Augmented Reality (AR) 
and Virtual Reality (VR) (fig. 1). Far from being born only in this trifecta, the first steps of 
XR were taken within the computer graphics field, without subdivisions. Sutherland and his 
collaborators developed the first immersive experiences in the world of science:"“Sword of 
Damocles” [Sutherland 1968] and “Moving Computer Graphics Images Seen from Inside 
the Vascular System" [Greenfield et al. 1971]; now classified as AR and VR respectively. 

The first macro division of the XR field was into two technologies, VR and AR or Enhanced 
Reality [Grimson et al. 1994].This first division was made because of the need to separate 
technologies that fully immerse the user in a synthetic environment (VR) from technologies 
that can display the real world with virtual objects superimposed or composited with the 
real world (AR) [Azuma 1997, p. 2]. 

However, it is agreed that the beginning of the classification of the sector started with the 
publication A taxonomy of Mixed Reality visual displays [Milgram, Kishino 1994]; where the 


Extended 
Reality 


Augmented 
Reality 


689 


Fig. 2. Simplified 
representation of the 
Virtuality Continuum. 
Milgram, Kishino 1994. 
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classification depended on how virtual or real the scene being viewed it is. In that article the 
concept of Mixed Reality and the Virtuality Continuum (VC) was introduced for the first 
time (fig. 2). To facilitate the reading of this article the concept of Mixed Reality according 
to Milgram and Kishino will be abbreviated MRe, differentiating it from the currently used 
Mixed Reality (MR).The concept ofVC referred to any mixture of classes of objects — real 
and/or virtual — presented in a visualisation situation through a display; at one end of the 
scheme is reality and at the other the totally virtual world.The concept of MRe was intro- 
duced as any case in between. MRe can be understood as any mixed experience made 
to observe real and virtual objects — together — in which a display is used. Note that the 
concepts of Real Environment and Virtual Environment are excluded from MRe. Note that 
they consider VR as Virtual Environment. Thus, it was possible to consolidate the theoretical 
separation of these two technologies, AR and VR, and to classify Augmented Virtuality (AV), 
a less publicised technology, which is used to augment virtuality with real objects (fig. 2). 

In this same contribution, the authors included three dimensions in order to have a more 
detailed classification system for MRe. The three dimensions (fig. 3) arise from the following 
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questions: 


- How much do we know about the world shown? Extent of World Knowledge (EWK); 

- How realistically are we able to show it? Reproduction Fidelity (RF); 

- What is the extent of the illusion that the observer is present within that world? Extent 
of Presence Metaphor (EPM). 


Using these three dimensions, it was possible to develop a system of sub-classification of the 
experiences created by these technologies in order to distinguish between two experiences 
that are technologically the same (according to the diagram in figure 2); for example, an 
experience where one sees a hyper-realistic virtual tree or low poly would be conceptually 
the same in the VC. In summary, Milgram and Kishino's dimensions and VC laid the foun- 
dation for classifying MR technologies with a 2D schema. With the new century, new tech- 
nologies began to emerge, such as Mediated Reality and Diminished Reality [Mann, Barfield 
2003], which did not necessarily fall into Milgram and Kishino's categories. Slowly, the field 
of XR gained popularity in fields such as engineering and medicine, which saw the potential 
for augmenting digital information in complex tasks. This led to a shift in the field of XR from 
pure visualisation to the user taking on different roles and, most importantly, being able to 
interact with digital information. 

n 2021 the article Revisiting Milgram and Kishino's Reality-Virtuality Continuum [Skarbez et al. 
2021] was published, in which they propose to update the taxonomy and definitions. The 
first observation they make is about VR and how it affects the VC (which they call the Real- 
ity-Virtuality -RV- Continuum). Within the RV continuum, the authors explain that there is a 
type of virtuality where the user cannot conceive of the difference between the real and the 
virtual, which they call the Matrix-like Virtual Environment, after the film Matrix (1999). The 
atter type of virtuality is only possible in cases where immersion in the virtual world occurs 
without perceiving the immersive device; in the schematic, the RV continuum is represented 
in a non-continuous form (fig. 4). Skarbez then propose to unify the term Mixed Reality 
(MR), given the multiple definitions found in scientific articles. A contemporary thematic 
review identified six types of MR [Speicher et al. 2019] (fig. 5): 


- MR in the context of Milgram and Kishino's VC (called MRe in this article); 
- MRasasynonym for AR; 
- MR as a type of collaboration between AR and VR; 
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Fig. 3. Dimensions (EWK, 
RF and EPM) of MRe 
classification. Milgram, 
Kishino 1994. 
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-MR as a link between AR and VR; 
-MR as an alignment of environments; 
- and MR as an empowered AR. 


Skarbez proposed to unify the definition of MR with an adapted version of Milgram and 
Kishino, expressing the concept as -an MR environment is one in which objects and stim- 
uli from the real world and the virtual world are presented together within the same 
perception. The authors thus exclude from MR the Matrix-like environment and the real 
environment. They also include VR in MR, unlike Milgram and Kishino. They also redefined 
the concepts of the three dimensions and converted the dimensions into a 3D scheme (fig. 
6). The concept of Reproduction Fidelity (RF) becomes the Immersion (IM) continuum, the 
concept of Extent of Presence Metaphor (EPM) becomes the Coherence (CO) continu- 
um, and the EWK remains the same, but they update the dimension. The placement of the 
dimensions in a 3D spatial system allows the recognition of the following levels: Replicated 
World Illusion, Presence and System Intelligence Illusion; the union of these three levels 
creates the new definition of Mixed Reality (fig. 7). 


Discussion and conclusions 


The article aims to discuss and clarify the nomenclature and taxonomy of different immer- 
sive virtual experiences. Its clarification helps to facilitate the multidisciplinary use of these 
technologies. This work is part of a doctoral thesis that aims to apply XR to the field of digi- 
tal fabrication. The ambiguity of the multiple names used to encompass the technologies of 
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Fig. 4. Reality-Virtuality 
(VR) Continuum 
(formerly known as 
Virtuality continuum). 
Skarbez 2021. 


Fig. 5. Examples of the six 
ypes of MR identified 
by Speicher and 
colleagues: a) Milgram 
and Kishino's Virtuality 
Continuum (VC) and 
Reality-Virtuality (VR) 
Continuum; b) MR as a 
synonym for AR. Augin's 
Facebook; c) MR as a 
type of collaboration 
between AR and VR. 
Reilly 2015; d) MR as 
a link between AR and 
VR. PokemonGO; e) 
MR as an alignment 
of environments. Roo 
2017; and MR as an 
empowered AR. Settimi 
022. 


Fig. 6. Extension of 
World Knowledge 
(EWK) Continuum (A), 
Immersion Continuum 
(IM) (B), Coherence 
Continuum (CO) 

(C) and the three- 
dimensional schematic 
of the dimensions (D). 
Skarbez 2021. 


m Mixed Reality (MR) ~] 


— ~ y 
Real Augmented Augmented External "Matrix-like" 
Environment Reality (AR) Virtuality (AV) Virtual Virtual 


Environment Environment 


Reality-Virtuality (RV) Continuum 


the 'XR' field was discussed; in some cases, the same name is used for different concepts, 
e.g. the field is called, among others, Extended Realities, Cross-Realities, Virtuality Contin- 
uum, Mixed Reality or Reality-Virtuality Continuum. 

The concept of Extended Realities (highlighted in figure |), which is frequently and mas- 
sively used to name the field, is counterproductive. The main shortcoming is that it in- 
cludes only three technologies (MR, VR and AR), which is reductive. The term Mixed Re- 
ality is particularly vague, with Speicher concluding his article by saying: “MR can be many 
things and its understanding always depends on the context" (fig. 7). | therefore agree that, 
in line with theoretical developments (Milgram and Kishino, 1994; Skarbez et al., 202 1),the 
most parsimonious naming of the field should be MR (s. |.), although the latter remains 
controversial. Note that the technology listed as MR in Figure | should first be classified 
and then renamed; however, removing MR (fig. 1) as one of the technologies would leave 
only AR and VR This would increase the limitation to classify current experiences. 

The cubic representation of dimensions [Skarbez et al. 2021] is an enlightening contribu- 
tion that facilitates the clarification of the taxonomy of these technologies. However, the 
lack of measurable variables makes it difficult to create strict categories within the MR 
(s. |.) and continues to allow arbitrary classification. This paper highlights the problem of 
the insufficient number of categories, mainly due to the diversity of experiences encom- 
passed within the AR category. 

In conclusion, the field of MR (s. |.) is a field under discussion where, on the one hand, it 
is essential to strengthen the discussion of the disciplinary sector of design and graphic 
representation, given that this sector has skills and knowledge in the use of virtual spaces 
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Fig. 7. Graphical 
representation of the RM 
categories. Combining 
dimensions and subjective 
feelings. Skarbez 2021. 


Immersion (IM) -> Place Illusion 


Extent of World Knowledge (EWK) 
—> World Awareness 


Coherence (CO) -> Plausibility Illusion 


IM x EWK —> Replicated World Illusion 


IM x CO —> Presence 


EWK x CO —> System Intelligence Illusion 


IMxEWKxCO -> Mixed Reality Illusion 


ARA Rat 


and is also one of the main actors in cyberspaces. On the other hand, it is necessary to 
generate a theoretical framework that will allow the definition of a robust classification 
that will facilitate the taxonomic use of the field. 


Notes 
[I] Taxonomy from the Greek taxis (arrangement) and -nomia (meaning set of laws or rules). The R.A.E. defines it as the sci- 


ence that deals with the principles, methods and aims of classification; it also defines it as the action of classifying. Then, Oxford 
Learner's Dictionaries defines taxonomy as: the scientific process of classifying things (= arranging them into groups). 
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